En el ámbito de la Inteligencia Artificial, el modelado de secuencias desplaza el enfoque de las instantáneas estáticas hacia los flujos temporales. Las tareas estándar de aprendizaje automático a menudo asumen que los puntos de datos son Independientes e Idénticamente Distribuidos (IID), lo que significa que el orden de las muestras no influye en el resultado.
El modelado de secuencias rechaza explícitamente esto, centrándose en tres pilares fundamentales:
- Violación de la Invarianza de Permutación: En los datos tabulares, el orden de las columnas es arbitrario. En las secuencias, el orden es la característica principal. Cambiar «El gato se comió a la rata» por «La rata se comió al gato» cambia fundamentalmente la verdad semántica fundamental a pesar de tener tokens idénticos.
- Autorregresivas Propiedades: Asumimos que una observación en el tiempo $t$ está matemáticamente condicionada a su historial ($t-1, t-2, \dots, 1$). Esto requiere probabilidades de transición para capturar cómo evoluciona la información.
- Mapeo de Longitud Variable: A diferencia de las rejillas fijas de píxeles de 28x28, las secuencias como oraciones o ondas sísmicas son elásticas. Los modelos deben procesar entradas de longitud $N$ y producir salidas de longitud $M$ utilizando parámetros consistentes.